由于缺乏异常样品，因此仅具有正常样本的先验知识的异常检测才吸引更多的注意力。现有的基于CNN的像素重建方法遇到了两个问题。首先，重建源和目标是包含无法区分的语义信息的原始像素值。其次，CNN倾向于很好地重建正常样品和异常情况，使它们仍然很难区分。在本文中，我们提出异常检测变压器（ADTR）将变压器应用于重建预训练的特征。预训练的功能包含可区分的语义信息。同样，采用变压器限制以很好地重构异常，因此一旦重建失败，就可以轻松检测到异常。此外，我们提出了新的损失函数，使我们的方法与正常样本的情况以及具有图像级和像素级标记为异常的异常情况兼容。通过添加简单的合成或外部无关异常，可以进一步提高性能。广泛的实验是在包括MVTEC-AD和CIFAR-10在内的异常检测数据集上进行的。与所有基线相比，我们的方法取得了卓越的性能。

自动面部识别是一个知名的研究领域。在该领域的最后三十年的深入研究中，已经提出了许多不同的面部识别算法。随着深度学习的普及及其解决各种不同问题的能力，面部识别研究人员集中精力在此范式下创建更好的模型。从2015年开始，最先进的面部识别就植根于深度学习模型。尽管有大规模和多样化的数据集可用于评估面部识别算法的性能，但许多现代数据集仅结合了影响面部识别的不同因素，例如面部姿势，遮挡，照明，面部表情和图像质量。当算法在这些数据集上产生错误时，尚不清楚哪些因素导致了此错误，因此，没有指导需要多个方向进行更多的研究。这项工作是我们以前在2014年开发的作品的后续作品，最终于2016年发表，显示了各种面部方面对面部识别算法的影响。通过将当前的最新技术与过去的最佳系统进行比较，我们证明了在强烈的遮挡下，某些类型的照明和强烈表达的面孔是深入学习算法所掌握的问题，而具有低分辨率图像的识别，极端的姿势变化和开放式识别仍然是一个开放的问题。为了证明这一点，我们使用六个不同的数据集和五种不同的面部识别算法以开源和可重现的方式运行一系列实验。我们提供了运行所有实验的源代码，这很容易扩展，因此在我们的评估中利用自己的深网只有几分钟的路程。

面向边界框回归对于定向对象检测至关重要。但是，基于回归的方法通常会遭受边界问题以及损失和评估指标之间的不一致性。在本文中，提出了一个调制的卡尔曼·伊奥（Kalman iou）损失，命名为Mkiou。为了避免边界问题，我们将定向边界框转换为高斯分布，然后使用卡尔曼过滤器近似交叉区域。但是，计算的交叉区域和实际交叉区域之间存在显着差异。因此，我们提出了一个调制因子，以调节角度偏差和宽度高度偏移对损失变化的敏感性，从而使损失与评估度量更一致。此外，高斯建模方法避免了边界问题，但同时引起方形对象的角度混乱。因此，提出了高斯角损失（GA损耗），以通过添加平方目标的校正损失来解决此问题。提出的GA损失可以很容易地扩展到其他基于高斯的方法。在三个公开可用的空中图像数据集（DOTA，UCAS-AOD和HRSC2016）上进行了实验，显示了该方法的有效性。

为了更好地利用搜索日志和建模用户的行为模式，提出了许多点击模型来提取用户的隐式交互反馈。大多数传统点击模型都是基于概率图形模型（PGM）框架，该框架需要手动设计的依赖项，并且可能会过度简化用户行为。最近，提出了基于神经网络的方法来通过增强表达能力并允许灵活的依赖性来提高用户行为的预测准确性。但是，他们仍然遭受数据稀疏性和冷启动问题的困扰。在本文中，我们提出了一个新颖的图形增强点击模型（GraphCM），用于Web搜索。首先，我们将每个查询或文档视为顶点，并分别针对查询和文档提出新颖的均匀图构造方法，以完全利用会议内和会议间信息，以解决稀疏性和冷启动问题。其次，在考试假设之后，我们分别对吸引力估计量和检查预测值进行了建模，以输出吸引力得分和检查概率，在该分数中，应用图形神经网络和邻居相互作用技术用于提取在预构建的同质图中编码的辅助信息。最后，我们将组合功能应用于将考试概率和吸引力得分整合到点击预测中。在三个现实世界会话数据集上进行的广泛实验表明，GraphCM不仅胜过了最先进的模型，而且还可以在解决数据稀疏性和冷启动问题方面取得卓越的性能。

语言模型既展示了定量的改进，又展示了新的定性功能，随着规模的增加。尽管它们具有潜在的变革性影响，但这些新能力的特征却很差。为了为未来的研究提供信息，为破坏性的新模型能力做准备，并改善社会有害的效果，至关重要的是，我们必须了解目前和近乎未来的能力和语言模型的局限性。为了应对这一挑战，我们介绍了超越模仿游戏基准（Big Bench）。 Big Bench目前由204个任务组成，由132家机构的442位作者贡献。任务主题是多样的，从语言学，儿童发展，数学，常识性推理，生物学，物理学，社会偏见，软件开发等等。 Big-Bench专注于被认为超出当前语言模型的功能的任务。我们评估了OpenAI的GPT型号，Google内部密集变压器体系结构和大型基础上的开关稀疏变压器的行为，跨越了数百万到数十亿个参数。此外，一个人类专家评估者团队执行了所有任务，以提供强大的基准。研究结果包括：模型性能和校准都随规模改善，但绝对的术语（以及与评估者的性能相比）；在模型类中的性能非常相似，尽管带有稀疏性。逐渐和预测的任务通常涉及大量知识或记忆成分，而在临界规模上表现出“突破性”行为的任务通常涉及多个步骤或组成部分或脆性指标；社交偏见通常会随着含糊不清的环境而随着规模而增加，但这可以通过提示来改善。

尽管无监督的异常检测迅速发展，但现有的方法仍需要训练不同对象的单独模型。在这项工作中，我们介绍了完成具有统一框架的多个类别的异常检测。在如此具有挑战性的环境下，流行的重建网络可能属于“相同的快捷方式”，在这种捷径中，正常样本和异常样本都可以很好地恢复，因此无法发现异常值。为了解决这一障碍，我们取得了三个改进。首先，我们重新审视完全连接的层，卷积层以及注意力层的配方，并确认查询嵌入（即注意层内）在防止网络学习快捷键方面的重要作用。因此，我们提出了一个层的查询解码器，以帮助建模多级分布。其次，我们采用一个邻居掩盖的注意模块，以进一步避免从输入功能到重建的输出功能的信息泄漏。第三，我们提出了一种功能抖动策略，即使使用嘈杂的输入，也敦促模型恢复正确的消息。我们在MVTEC-AD和CIFAR-10数据集上评估了我们的算法，在该数据集中，我们通过足够大的利润率超过了最先进的替代方案。例如，当在MVTEC-AD中学习15个类别的统一模型时，我们在异常检测的任务（从88.1％到96.5％）和异常定位（从89.5％到96.8％）上超过了第二个竞争者。代码将公开可用。

Robot navigation in dynamic environments shared with humans is an important but challenging task, which suffers from performance deterioration as the crowd grows. In this paper, multi-subgoal robot navigation approach based on deep reinforcement learning is proposed, which can reason about more comprehensive relationships among all agents (robot and humans). Specifically, the next position point is planned for the robot by introducing history information and interactions in our work. Firstly, based on subgraph network, the history information of all agents is aggregated before encoding interactions through a graph neural network, so as to improve the ability of the robot to anticipate the future scenarios implicitly. Further consideration, in order to reduce the probability of unreliable next position points, the selection module is designed after policy network in the reinforcement learning framework. In addition, the next position point generated from the selection module satisfied the task requirements better than that obtained directly from the policy network. The experiments demonstrate that our approach outperforms state-of-the-art approaches in terms of both success rate and collision rate, especially in crowded human environments.

结构重新参数化（REP）方法已在传统的卷积网络上取得了重大的性能提高。大多数当前的REP方法依靠先验知识来选择重新聚集操作。但是，体系结构的性能受到操作类型和先验知识的限制。为了打破这项限制，在这项工作中，设计了改进的重新参数化搜索空间，其中包括更多类型的重新参数操作。具体而言，搜索空间可以进一步提高卷积网络的性能。为了有效地探索该搜索空间，基于神经体系结构搜索（NAS）设计了自动重新参数增强策略，该策略可以搜索出色的重新参数化体系结构。此外，我们可视化体系结构的输出功能，以分析形成重新参数架构的原因。在公共数据集中，我们取得了更好的结果。在与RESNET相同的训练条件下，我们将Resnet-50的准确性提高了Imagenet-1K的1.82％。

准确的轨道位置是铁路支持驱动系统的重要组成部分，用于安全监控。激光雷达可以获得携带铁路环境的3D信息的点云，特别是在黑暗和可怕的天气条件下。在本文中，提出了一种基于3D点云的实时轨识别方法来解决挑战，如无序，不均匀的密度和大量点云的挑战。首先呈现Voxel Down-采样方法，用于铁路点云的密度平衡，并且金字塔分区旨在将3D扫描区域划分为具有不同卷的体素。然后，开发了一个特征编码模块以找到最近的邻点并聚合它们的局部几何特征。最后，提出了一种多尺度神经网络以产生每个体素和轨道位置的预测结果。该实验是在铁路的3D点云数据的9个序列下进行的。结果表明，该方法在检测直，弯曲和其他复杂的拓扑轨道方面具有良好的性能。

知识蒸馏在模型压缩方面取得了显着的成就。但是，大多数现有方法需要原始的培训数据，而实践中的实际数据通常是不可用的，因为隐私，安全性和传输限制。为了解决这个问题，我们提出了一种有条件的生成数据无数据知识蒸馏（CGDD）框架，用于培训有效的便携式网络，而无需任何实际数据。在此框架中，除了使用教师模型中提取的知识外，我们将预设标签作为额外的辅助信息介绍以培训发电机。然后，训练有素的发生器可以根据需要产生指定类别的有意义的培训样本。为了促进蒸馏过程，除了使用常规蒸馏损失，我们将预设标签视为地面真理标签，以便学生网络直接由合成训练样本类别监督。此外，我们强制学生网络模仿教师模型的注意图，进一步提高了其性能。为了验证我们方法的优越性，我们设计一个新的评估度量称为相对准确性，可以直接比较不同蒸馏方法的有效性。培训的便携式网络通过提出的数据无数据蒸馏方法获得了99.63％，99.07％和99.84％的CIFAR10，CIFAR100和CALTECH101的相对准确性。实验结果表明了所提出的方法的优越性。